脾气太倔，皇帝都很讨厌他
宋高宗当了太上皇之后，80岁的时候政府要给他举办一个上尊号的隆重典礼。杨万里和尤袤都各自写了一篇文章，是备选典礼上要宣读的官方文件。这时的宰相周必大是杨万里的老乡，就想推荐杨万里的文章。皇帝看了后说：“杨万里的文章读着太不顺口，还是用尤袤的吧。”周必大还想让杨万里当典礼司仪，皇帝又说：“杨万里是江西人，口音太重，让他当助手吧。”
回头皇帝跟太上皇一说这事，老家伙听了就变了脸：“姓杨的还在哪？怎么不叫他赶紧滚蛋？”皇帝没弄明白：“这话怎么讲啊？”太上皇说：“姓杨的当年参加公务员考试的时候，在文章里把老子比做晋元帝，太不像话了！”晋元帝是西晋灭亡后建立东晋的第一个皇帝，和宋高宗确实有类似的地方。但晋元帝因为手下大将造反打得天翻地覆，活活被气死了，宋高宗多半是觉得这么比方很晦气。
杨万里虽然先后受到3位宰相的器重，但太上皇一发飙，第二天杨万里就被赶到了基层工作。
但杨万里吃亏以后性子不改，说话还不留神，把皇帝也给刺激了。太上皇死后要设立祭祀牌位，按例生前贡献突出的大臣可以跟在旁边沾光，是一种荣誉。同事洪迈不跟弟兄们商量，就私自上报了一张故去大臣的名单供皇帝选择。杨万里很不忿：洪迈这小子连张浚那样的名臣都没有列入名单，不该列的反而榜上有名，纯粹是指鹿为马。皇帝一听就不自在了：“你骂大臣是指鹿为马，老子不就成了废物皇帝秦二世了吗？”杨万里又只好准备卷铺盖走人。
这回杨万里似乎已经有了心理准备，他计算好了从京城回家的路费，专门放在了一个箱子里。杨万里还嘱咐家里人，谁都不准动这个箱子，每天都摆着一副随时上路的架势。杨万里当时虽然一直没有被免职，但韩侂胄一上台，杨万里就顶不住了。
韩侂胄四处拉拢精英，准备放手大干一场，但杨万里看他就是不顺眼。韩侂胄造了一个花园，想请杨万里写一篇纪念文章，杨万里硬邦邦地说：“咱官可以不当，这文章绝对不写。”韩侂胄很不爽，不过也没拿他怎么样。后来写文章这活儿落到了陆游头上，陆游把作文写了出来，马屁精的帽子也跟着被扣上了脑袋。
